大型人口系统的分析和控制对研究和工程的各个领域引起了极大的兴趣，从机器人群的流行病学到经济学和金融。一种越来越流行和有效的方法来实现多代理系统中的顺序决策，这是通过多机构增强学习，因为它允许对高度复杂的系统进行自动和无模型的分析。但是，可伸缩性的关键问题使控制和增强学习算法的设计变得复杂，尤其是在具有大量代理的系统中。尽管强化学习在许多情况下都发现了经验成功，但许多代理商的问题很快就变得棘手了，需要特别考虑。在这项调查中，我们将阐明当前的方法，以通过多代理强化学习以及通过诸如平均场游戏，集体智能或复杂的网络理论等研究领域进行仔细理解和分析大型人口系统。这些经典独立的主题领域提供了多种理解或建模大型人口系统的方法，这可能非常适合将来的可拖动MARL算法制定。最后，我们调查了大规模控制的潜在应用领域，并确定了实用系统中学习算法的富有成果的未来应用。我们希望我们的调查可以为理论和应用科学的初级和高级研究人员提供洞察力和未来的方向。
translated by 谷歌翻译
Geometric camera calibration is often required for applications that understand the perspective of the image. We propose perspective fields as a representation that models the local perspective properties of an image. Perspective Fields contain per-pixel information about the camera view, parameterized as an up vector and a latitude value. This representation has a number of advantages as it makes minimal assumptions about the camera model and is invariant or equivariant to common image editing operations like cropping, warping, and rotation. It is also more interpretable and aligned with human perception. We train a neural network to predict Perspective Fields and the predicted Perspective Fields can be converted to calibration parameters easily. We demonstrate the robustness of our approach under various scenarios compared with camera calibration-based methods and show example applications in image compositing.
translated by 谷歌翻译
从具有高隐私要求的领域（例如医疗干预空间）获得的真实数据较低，并且收购在法律上很复杂。因此，这项工作提供了一种以医疗服装为例为医疗环境创建合成数据集的方法。目的是缩小合成数据和真实数据之间的现实差距。为此，使用虚幻的引擎插件或Unity比较了3D扫描服装和设计服装的方法。此外，还使用了绿屏和目标域数据集的混合现实数据集。我们的实验表明，设计服装的结构性域随机化以及混合现实数据提供了基线，可在临床目标域的测试数据集上实现72.0％的地图。当使用15％可用的目标域列车数据时，针对100％（660张图像）目标域列车数据的差距几乎可以关闭80.05％的地图（81.95％地图）。最后，我们表明，当使用100％目标域训练数据时，精度可以提高到83.35％的地图。
translated by 谷歌翻译
我们提出语言学家，这是一种通过微调Alexatm 5B生成带注释数据的方法，用于生成意图分类和插槽标记（IC+ST），这是一种5亿参数的多语言序列到序列（SEQ2SEQ）模型，在灵活的指令上迅速的。在SNIP数据集的10次新颖意图设置中，语言学家超过了最新的方法（反向翻译和示例外推），可以通过宽阔的边距，显示出IC回忆中+1.9点的目标意图的绝对改善ST F1分数和+2.5分。在MATIS ++数据集的零击跨语言设置中，语言学家表现出强大的机器翻译基线，插槽对齐的基线是+4.14的+4.14点在6个语言上绝对在ST F1分数上，同时在IC上匹配IC的性能。最后，我们在用于对话代理IC+ST的内部大规模多语言数据集上验证了我们的结果，并显示了使用背面翻译，释义和插槽目录重新采样采样的基线的显着改进。据我们所知，我们是第一个展示大规模SEQ2SEQ模型的指导微调的人，以控制多语言意图和插槽标记的数据生成的输出。
translated by 谷歌翻译
元梯度方法（Xu等，2018； Zahavy等，2020）为非平稳加强学习问题中的超参数选择和适应性提供了有希望的解决方案。但是，尚未系统地研究此类环境中元梯度的特性。在这项工作中，我们在非平稳环境中对元级别的新清晰度进行了新的清晰度。具体而言，我们问：（i）应向学习的优化者提供多少信息，以使一生中更快地适应和概括，（ii）在此过程中学习了什么元访问功能，以及（iii）是否）元梯度方法在高度非平稳的环境中提供了更大的优势。为了研究提供给元淘汰的信息的影响，如最近的作品（Flennerhag等，2021; Almeida等，2021），我们用学识渊博的元参数功能替换了固定更新规则的调谐元参数选定的上下文功能。上下文功能携带有关代理性能和环境变化的信息，因此可以告知学习的元参数计划。我们发现，添加更多的上下文信息通常是有益的，从而导致元参数值更快地适应并在一生中提高绩效。我们通过对结果的元参数计划和上下文特征的学习功能进行定性分析来支持这些结果。最后，我们发现没有上下文，在高度非平稳的环境中，元梯度并不能比基线提供一致的优势。我们的发现表明，情境化的元梯度可以在非平稳设置中的元梯度中提取高性能方面发挥关键作用。
translated by 谷歌翻译
从数字艺术到AR和VR体验，图像编辑和合成已经变得无处不在。为了生产精美的复合材料，需要对相机进行几何校准，这可能很乏味，需要进行物理校准目标。代替传统的多图像校准过程，我们建议使用深层卷积神经网络直接从单个图像中直接从单个图像中推断摄像机校准参数，例如音高，滚动，视场和镜头失真。我们使用大规模全景数据集中自动生成样品训练该网络，从而在标准L2误差方面产生了竞争精度。但是，我们认为将这种标准误差指标最小化可能不是许多应用程序的最佳选择。在这项工作中，我们研究了人类对几何相机校准中不准确性的敏感性。为此，我们进行了一项大规模的人类感知研究，我们要求参与者以正确和有偏见的摄像机校准参数判断3D对象的现实主义。基于这项研究，我们为摄像机校准开发了一种新的感知度量，并证明我们的深校准网络在标准指标以及这一新型感知度量方面都优于先前基于单像的校准方法。最后，我们演示了将校准网络用于多种应用程序，包括虚拟对象插入，图像检索和合成。可以在https://lvsn.github.io/deepcalib上获得我们方法的演示。
translated by 谷歌翻译
这项工作提出了一种新的动力学的新运动学，该动力学与单个执行器有关，可以实现三方握力，也可以实现侧向握力。受三位生假体的启发，比多物质假体更简单，更健壮和便宜，这种新的运动学旨在提出可访问的假体（负担得起的，易于使用，易于使用，健壮，易于修复）。使用电缆代替刚性杆来传递上指和拇指的动作。本文详细介绍了方法和设计选择。总而言之，通过实验用户对原型的评估导致对结果的首次讨论。
translated by 谷歌翻译
在计算机视觉的许多领域都探索了对对抗性扰动的鲁棒性。这种鲁棒性在基于视觉的强化学习中尤其重要，因为自主代理在现实世界中的行为可能是安全的或影响力的。我们研究基于视力的强化学习者对基于梯度的对抗攻击并评估潜在防御的敏感性。我们观察到，CNN体系结构中包含的瓶颈注意模块（BAM）可以充当提高对抗性攻击的鲁棒性的潜在工具。我们展示了如何使用学习的注意图来通过将空间激活限制为显着区域来恢复卷积层的激活。在许多RL环境中，BAM增强体系结构在推理过程中表现出更大的鲁棒性。最后，我们讨论潜在的未来研究方向。
translated by 谷歌翻译
我们在动态环境中跟踪多个物体的能力使我们能够执行日常任务，例如驾驶，运动运动和在拥挤的购物中心行走。尽管有关多个对象跟踪（MOT）任务的三十年文献，但基本和交织的神经机制仍然知之甚少。在这里，我们研究了脑电图（EEG）神经相关性及其在3D-MOT任务的三个阶段的变化，即识别，跟踪和回忆。我们记录了24名参与者的脑电图活动，而他们执行了3D-MOT任务，其中有1、2或3个目标，其中一些试验被横向进行，有些则没有。我们观察到从跟踪到回忆时，集中注意力与工作记忆过程之间似乎是一种交接。我们的发现表明，在跟踪过程中，从额叶区域的三角洲和theta频率有很强的抑制作用，随后在召回过程中对这些相同频率的激活强烈（重新）激活。我们的结果还显示了在识别阶段和召回阶段的对侧延迟活性（CDA），但在跟踪过程中没有。
translated by 谷歌翻译
一些基于变压器的模型可以执行跨语言转移学习：这些模型可以通过一种语言对特定任务进行培训，并以另一种语言的同一任务给予相对良好的结果，尽管仅在单语任务中进行了预先培训。但是，关于这些基于变压器的模型是否学习跨语言的通用模式，目前尚无共识。我们提出了一种单词级的任务不可能的方法，以评估此类模型构建的上下文化表示的对齐方式。我们表明，与以前的方法相比，我们的方法提供了更准确的翻译成对，以评估单词级别对齐。我们的结果表明，基于多语言变压器模型的某些内部层优于其他明确对齐的表示，甚至根据多语言对齐的更严格的定义，更是如此。
translated by 谷歌翻译